今天為什么要說一下404問題呢,最近看case過程中發(fā)現(xiàn)個很有意思的網(wǎng)站，該網(wǎng)站被灌了大量的垃圾信息，被其發(fā)現(xiàn)后及時地進行了刪除，這一點是值得肯定的。通常情況下，正常網(wǎng)站將自動返回404狀態(tài)碼，搜索引擎進行更新并刪除，避免對網(wǎng)站用戶及搜索引擎帶來負面影響。但問題來了，該網(wǎng)站只刪除了內(nèi)容，沒有任何主體內(nèi)容的頁面被保存了下來，未做404處理。當然，存在一類網(wǎng)站只刪除內(nèi)容后返回正常200狀態(tài)碼，提醒一句“該內(nèi)容已刪除”，但其都沒有?？梢园l(fā)現(xiàn)目前這個搜藏中的url仍然正常返回200，造成的后果：搜索引擎將花費大量的資源在這種無效頁面上，那么，同等耗損下用在重要頁面上的資源將被大量擠占，可想而知，正常優(yōu)質(zhì)頁面在搜索引擎的部分表現(xiàn)將受到影響。經(jīng)過我們運營同學的多方溝通下至今仍未進一步處理。
    404狀態(tài)碼代表‘Not Found’，spider更新時會認為該頁面已失效，此時呢將在索引庫中刪除，短期內(nèi)spider再次發(fā)現(xiàn)該url不再會抓取。因此，出來了兩類問題：第一，網(wǎng)頁臨時性打不開；第二，頁面永遠無法打開。針對第一類問題，我建議不要立刻返回404，而是使用503。503等同于告訴spider該頁面臨時訪問不了，過段時間再來光臨。關(guān)于503，spider會認為該網(wǎng)頁臨時無法訪問，短期內(nèi)會再光臨。如果網(wǎng)頁已經(jīng)恢復，即刻正常抓??；如果繼續(xù)返回503，短期內(nèi)還會再光臨幾次，但如果該頁面長時間返回503，該url仍會被認作失效鏈接，從索引庫中刪除。針對第二類問題，永遠無法打開的頁面，404，不用考慮。各種web2類頁面刪除后同樣需要返回404告知搜索引擎該頁面已失效。
     回歸之前那個網(wǎng)站，刪除內(nèi)容后該頁面沒有任何價值。最恰當?shù)奶幚硎牵?br />      1、直接做死鏈處理并返回404；
     2、在百度站長平臺死鏈提交工具中提交死鏈sitemap。
     最后呢，提醒一下各位站長朋友，當您的網(wǎng)站存在被發(fā)布大量垃圾信息時，請：
     1、及時刪除相關(guān)垃圾頁面，并做404處理；
     2、制作符合要求的死鏈sitemap；
     3、登錄百度站長平臺，進入死鏈提交工具提交死鏈sitemap。